Cap Probabilităţi Informaţia Dicţionar: - aposteriori (a posteriori) -locuţiune latină: “din ceea ce urmează”, după experienţă, pornind de la datele ei; - apriori (a priori) - locuţiune latină: “din ceea ce precede”, anterior experienţei; - binar - care este constituit din două elemente; a cărui bază este numărul ; - bit/biţi - Unitate de măsură a informaţiei; simbol binar; - discret -care este alcătuit din elemente distincte; care variază în salturi; cuantificat; discontinuu; - echiprobabil(e) -de egală probabilitate; - informaţie -necesarul/rezultatul cunoaşterii; - probabilitate - însuşirea de a fi probabil; măsură (funcţie) definită pe un câmp de evenimente, p : , Definiţii: - sursă de informaţie (sau experiment probabilistic) = un mecanism (un experiment) prin care se selectează un mesaj (un eveniment) dintre n posibile după o lege arbitrară (sau cel puţin necunoscută); - mesaj (eveniment) = realizarea produsă în urma efectuării experimentului; - bit = cantitatea de informaţie furnizată de o sursă de informaţie binară, fără memorie, echiprobabilă, printr-un mesaj al ei; - eveniment elementar = un eveniment ce nu poate fi definit ca o reuniune de două evenimente distincte între ele şi de primul Breviar teoretic: Probabilitate Determinarea experimentală a probabilităţii de realizare a unui mesaj (eveniment) A se face după relaţia: Probabilitate condiţionată Determinarea experimentală a probabilităţii de realizare a evenimentului (mesajului) B atunci când s-a realizat evenimentul (mesajul) A se face după relaţia: Formula fundamentală a probabilităţilor evenimentelor elementare Dacă Ai, i = n sunt evenimentele elementare ale unui experiment probabilistic (mesajele unei surse de informaţie) atunci: ( ) Relaţia lui Bayes Dacă A şi B sunt două evenimente atunci: ( ) unde p(A, B) = probabilitatea de a se realiza şi A şi B Formula probabilităţii totale Dacă Ai cu i = , n sunt evenimentele elementare ale unui experiment probabilistic şi B un eveniment oarecare pentru acelaşi experiment atunci: ( ) Evenimente independente Setul de evenimente Ai, i I, sunt independente dacă şi numai dacă pentru J I ( ) În particular, A şi B sunt două evenimente independente dacă şi numai dacă: ( ) şi utilizând relaţia ( ) ( ) Informaţia Cantitatea de informaţie necesară ridicării nedeterminării asupra evenimentului A este egală cu cea furnizată de realizarea evenimentului A şi egală cu : biţi ( ) Zece mingi sunt puse în trei cutii C , C , C Care este probabilitatea ca în C să fie mingi? Rezolvare: Fiecare minge poate fi aşezată în oricare din cele trei cutii; astfel că fiecare minge triplează numărul de variante de aşezare a mingilor în cutii Aşadar numărul de variante de aşezare a mingilor în cutii este: N = = = ( ) Pentru a avea trei mingi în C trebuie ca celelalte şapte să fie aşezate în C şi C Numărul de variante cu trei mingi în C va fi: ( ) unde reprezintă numărul de moduri de alegere a mingi din posibile (considerând mingile distincte); iar reprezintă numărul de posibilităţi de aşezare a şapte mingi în două cutii, C şi C Probabilitatea cerută este: ( ) Trei trăgători trag simultan asupra aceleiaşi ţinte Probabilitatea ca fiecare trăgător să nimerească ţinta este p = , ; p = , ; p = , Notând cu A evenimentul ca ţinta să fie lovită, B evenimentul ca ţinta să fie lovită exact o dată să se afle: a) p(A); b) p(B); c) dacă cele două evenimente A şi B sunt independente Rezolvare: Calculând probabilitatea evenimentului contrar lui A: ( ) rezultă că: ( ) Avem că: ( ) unde cu Ai s-a notat evenimentul ca trăgătorul i să nimerească ţinta Pentru ca cele două evenimente să fie independente este necesar ca: p(A/B) = p(A) ( ) dar cum: p(A/B) = % ( ) rezultă că cele două evenimente nu sunt independente Fie două urne, U ce conţine bile albe şi bile negre şi U ce conţine o bilă albă şi bile negre Se extrage o bilă din U şi se introduce în U , apoi se extrage o bilă din U Care este probabilitatea ca bila transferată să fi fost albă dacă bila extrasă din U este: a) albă; b) neagră? Rezolvare: Fie evenimentele A – bila transferată este albă; B – bila extrasă din U este albă; Pentru a calcula p(A/B) aplicăm formula lui Bayes: ( ) Probabilităţile se calculează simplu: şi ( ) Probabilitatea condiţionată p(B/A) este: p(B/A) = / ( ) iar p(B) se poate calcula cu formula probabilităţii totale: ( ) Astfel: ( ) În mod analog ( ) ( ) Se observă, cum era de aşteptat, că este mai probabil să se fi transferat o bilă albă dacă din a doua urnă a fost extrasă o bilă albă La un examen oral studenţii consideră că din totalul subiectelor m sunt uşoare şi n grele Precizaţi: Probabilitatea ca primul student să extragă un subiect uşor; Probabilitatea ca cel de-al doilea student să extragă un subiect uşor Rezolvare: Cu notaţiile: A – evenimentul prin care primul student extrage un subiect uşor; B – evenimentul prin care cel de-al doilea student extrage un subiect uşor, avem că: ( ) iar ( ) Pentru calcului lui p(B) se utilizează formula probabilităţii totale, relaţia ( ) Rezultă că: ( ) adică p(A) = p(B) cum era de aşteptat Obs: - cele două probabilităţi p(A) şi p(B) sunt probabilităţi apriori (dinainte de producerea evenimentelor) Înainte ca primul student să extragă un subiect, toţi studenţii, indiferent de ordinea lor, au şanse egale la a extrage un subiect uşor Un tetraedru regulat are feţele colorate, una în roşu, una în galben, una în verde, iar cea de-a treia conţine pe toate trei culorile Se lasă să cadă tetraedrul pe una din feţe Fie evenimentele: R - faţa pe care a căzut tetraedrul conţine roşu; G - faţa pe care a căzut tetraedrul conţine galben; V - faţa pe care a căzut tetraedrul conţine verde cât este probabilitatea evenimentului roşu, p(R)? cât este probabilitatea condiţionată p(R/G)? sunt evenimentele R, G şi V independente? Rezolvare: Probabilitatea evenimentului roşu este: Probabilitatea de a se realiza evenimentului roşu dacă s-a realizat galben este: ( ) deoarece una din două feţe ce conţin galben conţine şi roşu Pentru ca evenimentele R, G şi V să fie independente trebuie să fie îndeplinite relaţiile: ( ) Aplicând relaţia ( ), găsim că: ( ) Cum ultima relaţie din ( ) nu este verificată evenimentele R, G şi V nu sunt independente Pot fi simultan două evenimente şi incompatibile şi independente? Rezolvare: Fie A și B două evenimente Incompatibilitatea lor presupune ca: ( ) iar independența: ( ) Din cele două relații rezultă că cele două evenimente pot fi independente, fiind incompatibile, doar dacă unul este de probabilitate nulă Altfel spus, două evenimente de probabilități nenule pot fi independente doar dacă sunt compatibile O imagine alb negru se compune din x pixeli Fiecare pixel poate avea un nivel de gri dintre posibile Aflați informația furnizată de: a) un pixel; b) întreaga imagine Rezolvare: Considerând egal probabile nivelele de gri, conform definiției informației unui eveniment: biți ( ) Întreaga imagine furnizează de x ori mai multă informație: biți ( ) a) Care este numărul de întrebări minime necesare pentru a afla un număr necunoscut Nx cuprins între şi ? Întrebările pot fi de genul : “Numărul Nx este mai mare decât Np (nominalizat)?” b) Cât este primul prag Np şi cât este informaţia conţinută de răspunsul la întrebarea: “Numărul Nx este mai mare decât ?” Rezolvare: Informaţia necesară pentru a afla numărul Nx necunoscut este: biţi ( ) Informaţia obţinută prin răspunsul la o întrebare este: ( ) unde ANp este evenimentul prin care numărul Nx este mai mare decât pragul Np Evident: ( ) şi putem scrie: ( ) de unde ( ) Funcţia i(x) îşi atinge maximul dacă ( ) Valoarea maximului este: ( ) şi corespunde unui prag: ( ) Aşadar, dacă pragul este ales la jumătatea intervalului în care se cunoaşte că se află Nx informaţia obţinută prin răspunsul la întrebare (în cazul cel mai defavorabil) este maximă şi egală cu bit Cert, numărul minim de întrebări este: unde [y]sup denotă numărul întreg superior lui y Obs: numărul n = găsit cu raţionamentul anterior este “minim” în cazul general, acest lucru însemnând că indiferent de Nx prin întrebări de tipul celei din enunţ (cu pragurile alese “la jumătate”) se află valoarea sa Există cazuri particulare când, pentru anumite valori a lui Nx, să fie suficiente mai puţine întrebări (ex: Nx = şi Np = ) dar pentru astfel de cazuri intervine “şansa”! b) Din relaţia ( ) Np = ; Dacă pragul se alege (la prima întrebare) Np = avem că şi ( ) de unde: biţi ( ) Rezultatul cuprins în relaţia ( ) arată că dacă pragurile nu vor fi alese “la jumătate” există posibilitatea să nu fie suficiente întrebări ! Câte cântăriri sunt minim necesare pentru a preciza o monedă falsă din şi dacă moneda este mai grea sau mai uşoară? Moneda falsă diferă prin greutate iar cântăririle se fac pe o balanţă cu talere Rezolvare: Informaţia necesară pentru a soluţiona problema este: biţi ( ) unde log este informaţia necesară pentru a afla moneda din , iar log este informaţia necesară pentru a afla dacă moneda este mai grea sau mai uşoară Informaţia maximă furnizată de o cântărire este: biţi ( ) şi se atinge dacă cele trei variante rezultat al unei cântăriri cu balanţa(A-balanţa se înclină spre dreapta, B-balanţa se înclină spre stânga, C-balanţa nu se înclină) sunt egal probabile: ( ) Numărul de cântăriri cerut va fi: ( ) cu soluţia: nmin = ( ) Obs: - relaţia ( ) este valabilă doar dacă cele trei variante rezultat ale cântăririi sunt egal probabile Astfel dacă cele monezi se notează cu M , M , , M prima cântărire constă în a compara pe M + M + M + M cu M + M + M + M O posibilă rezolvare a problemei poate fi: A – moneda falsă este - mai uşoară şi este M , M , M , sau M - mai grea şi este M , M , M , sau M B – moneda falsă este - mai grea şi este M , M , M , sau M -mai uşoară şi este M , M , M , sau M C – moneda falsă este mai grea sau mai uşoară şi este M , M , M , sau M Dacă rezultatul primei cântăriri este A , indicele semnifică prima cântărire, A rezultatul ei, atunci se compară M + M + M cu M + M + M - dacă la a doua cântărire rezultă A atunci fie M sau M e mai uşoară fie M e mai grea şi se compară în continuare M cu M ; - dacă la a doua cântărire rezultă B atunci fie M sau M e mai uşoară fie M e mai grea şi se compară în continuare M cu M ; - iar dacă la a doua cântărire rezultă C atunci fie M e mai grea fie M ; se compară M cu M În mod analog pentru B şi C Obs: - relaţia ( ) indică că problema ar putea fi rezolvată şi pentru monezi în locul celor : În realitate problema cu monezi nu poate fi complet soluţionată din cântăriri pentru că nu se poate asigura echiprobabilitatea rezultatelor Cât este informaţia obţinută în diferitele variante de rezolvare a problemei cu monezi? Dar cu monezi? Răspuns: Pentru varianta A A A (cu monezi): biţi Obs: informaţia obţinută la a doua cântărire este mai puţină decât cea presupusă, log biţi Un convertor analog-numeric (CAN) converteşte tensiunea de intrare Ux într-un număr Nx conform relaţiei: ( ) unde Ux poate lua valori între şi Umax = , V; q este cuanta conversiei, q = mV; [y] semnifică partea întreagă a lui y a) Câtă informaţie furnizează la ieşirea sa CAN-ul prin fiecare număr generat şi câtă informaţie se pierde ? b) Dacă CAN-ul foloseşte pentru conversie, în mai mulţi paşi succesivi, un comparator, să se stabilească câtă informaţie furnizează comparatorul la un pas şi câţi paşi sunt necesari pentru efectuarea conversiei ? c) Care sunt tensiunile de prag ale comparatoarelor utilizate, Upi, în conversia tensiunii Ux = , V, în cazul în care conversia se face într-un număr minim de paşi ? Răspuns: a) i = biţi; în mod ideal Ux conţine + informaţie În realitate măsurarea unei tensiuni Ux este limitată (ca şi precizie) fie de rezoluţia aparatelor fie de nivelul zgomotului b) ic = bit; paşi; c) Up = , V; Up = , V; Up = V; Up = , V; Up = , V; Up = , V; Up = , V; Up = , V Un CAN de mare viteză utilizează de comparatoare pentru a face conversia tensiunilor de intrare din intervalul [- , V, + , V] la o rezoluţie de q= mV Determinaţi “redundanţa” în componente a CAN-ului Rezolvare: Numărul de “răspunsuri” distincte ale CAN –ului pentru o tensiune Ux ce variază de la - , V la + , V este: ( ) Probabilitatea ca o tensiune Ux să genereze un răspuns din cele N posibile este: p = /N = - ( ) iar informaţia conţinută de un “răspuns” este: biţi ( ) Pentru că un comparator “alege” o variantă din două posibile, informaţia furnizată de el este: ( ) Aşadar în mod ideal, pentru o conversie sunt suficiente: n = i /ic = comparatoare ( ) de unde rezultă că redundanţa este de de comparatoare Obs: Motivaţia utilizării a mai multor comparatoare constă în faptul că, la folosirea doar a comparatoare, sunt necesare tensiuni de prag variabile în funcţie de tensiunea Ux, lucru ce scade viteza de conversie La o transmisie numerică informaţia utilă se transmite prin secvenţe binare de câte n biţi, numite cuvinte Câtă informaţie este necesară pentru a preciza poziţia unui bit eronat din cei n? Dar pentru doi biţi eronaţi? Exemplificare pentru n = Rezolvare: Informaţia cerută se calculează cu formula: i = log n (biţi) ( ) Se consideră că transmiterea (implicit eronarea) unui bit este independentă de a celorlalţi Aşadar, pentru un bit eronat i = biţi; pentru doi biţi eronaţi biţi Aceeaşi întrebare ca şi la problema , cu diferenţa că este o transmisie ternară Rezolvare: În cazul transmisiei ternare corecţia unui simbol (ternar) eronat presupune pe lângă aflarea poziţiei sale (fapt ce necesită aceeaşi informaţie ca şi la secvenţa binară), şi valoarea simbolului iniţial, valoare ce poate fi una din două posibile Cu aceste justificări, răspunsurile vor fi: i = log n (pentru aflarea poziţiei) + log (pentru aflarea valorii) = biţi ( ) biţi ( ) În relaţia ( ) s-au adăugat biţi de informaţie necesari aflării valorii “adevărate” pentru două simboluri ternare eronate La o transmisie binară informaţia utilă este transmisă prin cuvinte de n= biţi printr-un canal cu rata erorii p= - Câtă informaţie, în medie pe un cuvânt, este necesară pentru a face: detecţie de o eroare pe cuvânt? detecţie de una sau două erori pe cuvânt? Rezolvare: Probabilitatea ca un cuvânt să fie eronat într-o poziţie este: ( ) p este şi probabilitatea ca receptorul să detecteze o eroare Cert -p este probabilitatea ca receptorul să ia decizia că nu există eroare (incluzând cazurile corecte şi false) Fie a şi b astfel încât: p = a/b şi - p = (b-a)/b ( ) Aşadar din b cuvinte transmise a sunt detectate cu eroare Pentru a detecta un astfel de cuvânt este necesară informaţia: ( ) b-a cuvinte din cele b sunt considerate neeronate, pentru un astfel de cuvânt fiind necesară informaţia: ( ) Concluzionând pentru b cuvinte recepţionate este necesară informaţia: b i = a i d + (b-a) i n ( ) iar pentru un singur cuvânt recepţionat, pentru a face detecţie de o eroare: = , biţi/cuvânt ( ) Şi în acest caz informaţia cerută are aceeaşi formă cu ( ) doar că diferă p : ( ) unde p este probabilitatea ca un cuvânt să fie eronat într-o poziţie sau în două poziţii: ( ) de unde rezultă pentru i valoarea: i = , biţi/cuvânt ( ) Obs: Detecţia prezenţei erorilor presupune a decide între două variante: există sau nu există erori în cuvântul în cauză Informaţia furnizată de o astfel de decizie (una din două posibile) este, în medie, subunitară, încât problema detecţiei din punct de vedere strict al informaţiei este solvabilă cu bit (de informaţie) pe cuvânt, indiferent de p sau n 